我们提出了一种精确,有效的正常估计方法,可以处理非结构化3D点云的噪声和不均匀密度。与直接采用补丁并忽略当地邻里关系的现有方法不同,这使它们容易受到诸如尖锐边缘等挑战区域的影响,我们建议学习以正常估计的图形卷积特征表示,该图表强调了更多的本地邻里几何形状,并有效地编码了内在关系。此外,我们根据注意机制设计了一种新型的自适应模块,以将点特征与其相邻特征整合在一起,从而进一步增强了提出的正常估计器对点密度变化的鲁棒性。为了使其更有区别,我们在图形块中引入了多尺度体系结构,以学习更丰富的几何特征。我们的方法以各种基准数据集的最先进的精度优于竞争对手,并且对噪声,异常值以及密度变化非常有力。
translated by 谷歌翻译
As an efficient graph analytical tool, graph neural networks (GNNs) have special properties that are particularly fit for the characteristics and requirements of wireless communications, exhibiting good potential for the advancement of next-generation wireless communications. This article aims to provide a comprehensive overview of the interplay between GNNs and wireless communications, including GNNs for wireless communications (GNN4Com) and wireless communications for GNNs (Com4GNN). In particular, we discuss GNN4Com based on how graphical models are constructed and introduce Com4GNN with corresponding incentives. We also highlight potential research directions to promote future research endeavors for GNNs in wireless communications.
translated by 谷歌翻译
作为图形数据的有效神经网络模型,图形神经网络(GNN)最近找到了针对各种无线优化问题的成功应用程序。鉴于GNN的推理阶段可以自然地以分散的方式实施,因此GNN是下一代无线通信中分散控制/管理的潜在推动力。但是,由于在与GNN的分散推断期间,邻居之间的信息交流可能会发生隐私泄漏。为了解决这个问题,在本文中,我们分析并增强了无线网络中GNN分散推断的隐私。具体来说,我们采用当地的差异隐私作为指标,设计了新颖的隐私信号以及隐私保证的培训算法,以实现保护隐私的推论。我们还定义了SNR私人关系权衡功能,以分析无线网络中使用GNN的分散推理的性能上限。为了进一步提高沟通和计算效率,我们采用了空中计算技术,理论上证明了其在隐私保护方面的优势。通过对合成图数据的大量模拟,我们验证了理论分析,验证提出的隐私无线信号传导和隐私保证培训算法的有效性,并就实际实施提供一些指导。
translated by 谷歌翻译
训练前轨迹嵌入是空间轨迹挖掘中的一个基本和关键程序,对各种下游任务都是有益的。产生有效轨迹嵌入的关键是从轨迹(包括运动模式和旅行目的)中提取高级旅行语义,并考虑轨迹的长期空间时间相关性。尽管有现有的努力,但训练前轨迹嵌入仍存在重大挑战。首先,常用的生成借个任务不适合从轨迹中提取高级语义。其次,现有的数据增强方法非常适合轨迹数据集。第三,当前的编码器设计无法完全合并轨迹中隐藏的长期时空相关性。为了应对这些挑战,我们提出了一种新型的对比性时空轨迹嵌入(CSTTE)模型,用于学习全面的轨迹嵌入。 CSTTE采用了对比度学习框架,以使其借口任务对噪音具有牢固的态度。一种专门设计的轨迹数据增强方法与对比度借口任务相结合,以保留高级旅行语义。我们还构建了有效的时空轨迹编码器,以有效,全面地对轨迹中的长期空间 - 周期性相关性进行建模。与现有的轨迹嵌入方法相比,对两个下游任务和三个现实世界数据集进行了广泛的实验证明了我们的模型的优势。
translated by 谷歌翻译
联合学习已被提议作为隐私的机器学习框架,该框架使多个客户能够在不共享原始数据的情况下进行协作。但是,在此框架中,设计并不能保证客户隐私保护。先前的工作表明,联邦学习中的梯度共享策略可能容易受到数据重建攻击的影响。但是,实际上,考虑到高沟通成本或由于增强隐私要求,客户可能不会传输原始梯度。实证研究表明,梯度混淆,包括通过梯度噪声注入和通过梯度压缩的无意化混淆的意图混淆,可以提供更多的隐私保护,以防止重建攻击。在这项工作中,我们提出了一个针对联合学习中图像分类任务的新数据重建攻击框架。我们表明,通常采用的梯度后处理程序,例如梯度量化,梯度稀疏和梯度扰动,可能会在联合学习中具有错误的安全感。与先前的研究相反,我们认为不应将隐私增强视为梯度压缩的副产品。此外,我们在提出的框架下设计了一种新方法,以在语义层面重建图像。我们量化语义隐私泄漏,并根据图像相似性分数进行比较。我们的比较挑战了文献中图像数据泄漏评估方案。结果强调了在现有联合学习算法中重新审视和重新设计对客户数据的隐私保护机制的重要性。
translated by 谷歌翻译
近年来,最终用户的多个(边缘)设备中有大量分散数据,而由于法律或法规,分散数据的聚合对机器学习工作仍然困难。联合学习(FL)作为处理分散数据而不分享敏感原始数据的有效方法,同时协作培训全球机器学习模型。 FL中的服务器需要在培训过程中选择(和计划)设备。但是,具有FL的多个作业的设备的调度仍然是一个关键和打开的问题。在本文中,我们提出了一种新的多工作FL框架,以实现多个作业的并行培训过程。该框架包括系统模型和两个调度方法。在系统模型中,我们提出了多个作业的并行培训过程,并根据各种工作培训过程基于培训时间和各种设备的数据公平构建成本模型。我们提出了一种基于钢筋的基于学习的方法和基于贝叶斯优化的方法,以便为多个作业调度设备,同时最小化成本。我们通过多个工作和数据集进行广泛的实验。实验结果表明,我们提出的方法在培训时间(速度越快8.67倍)和准确性(高度高达44.6%)方面显着优于基线。
translated by 谷歌翻译
移动和金融技术的繁荣已经为更广泛的人们培育和扩展了各种金融产品,这有助于倡导金融包容。它具有递减金融不平等的非琐碎的社会效益。然而,由独特的特征分布和新用户的信用史有限造成的个人金融风险评估的技术挑战,以及新用户的缺乏经验,在处理复杂数据和获得准确的标签方面,妨碍了进一步推动金融包容性。为了解决这些挑战,本文开发了一种新颖的转移学习算法(即转换),其结合了基于树的模型和内核方法的优点。 Transpoost设计具有平行树结构和有效的重量更新机制,具有理论上的保证,使其能够以$ O(n)$时间复杂度的高维特征和稀疏性在解决现实世界数据中。我们对两个公共数据集进行了广泛的实验,以及腾讯移动支付的独特大规模数据集。结果表明,在具有卓越效率的预测精度方面,转换越野越优于其他最先进的基准传输学习算法,表现出对数据稀疏性的更强的鲁棒性,并提供有意义的模型解释。此外,鉴于财务风险等级,转博稳定使金融服务提供商能够满足最多的用户,包括其他算法。也就是说,转船改善了金融包容性。
translated by 谷歌翻译
联合学习(FL)是一种保护隐私的范式,其中多个参与者共同解决机器学习问题而无需共享原始数据。与传统的分布式学习不同,FL的独特特征是统计异质性,即,跨参与者的数据分布彼此不同。同时,神经网络解释的最新进展已广泛使用神经切线核(NTK)进行收敛分析。在本文中,我们提出了一个新颖的FL范式,该范式由NTK框架赋予了能力。该范式通过传输比常规FL范式更具表现力的更新数据来解决统计异质性的挑战。具体而言,通过样本的雅各布矩阵,而不是模型的权重/梯度,由参与者上传。然后,服务器构建了经验内核矩阵,以更新全局模型,而无需明确执行梯度下降。我们进一步开发了一种具有提高沟通效率和增强隐私性的变体。数值结果表明,与联邦平均相比,所提出的范式可以达到相同的精度,同时将通信弹的数量减少数量级。
translated by 谷歌翻译
Federated learning allows collaborative workers to solve a machine learning problem while preserving data privacy. Recent studies have tackled various challenges in federated learning, but the joint optimization of communication overhead, learning reliability, and deployment efficiency is still an open problem. To this end, we propose a new scheme named federated learning via plurality vote (FedVote). In each communication round of FedVote, workers transmit binary or ternary weights to the server with low communication overhead. The model parameters are aggregated via weighted voting to enhance the resilience against Byzantine attacks. When deployed for inference, the model with binary or ternary weights is resource-friendly to edge devices. We show that our proposed method can reduce quantization error and converges faster compared with the methods directly quantizing the model updates.
translated by 谷歌翻译
联合学习可以使远程工作人员能够协作培训共享机器学习模型,同时允许在本地保持训练数据。在无线移动设备的用例中,由于功率和带宽有限,通信开销是关键瓶颈。前工作已经利用了各种数据压缩工具,例如量化和稀疏,以减少开销。在本文中,我们提出了一种用于联合学习的预测编码的压缩方案。该方案在所有设备中具有共享预测功能,并且允许每个工作人员发送来自参考的压缩残余矢量。在每个通信中,我们基于速率失真成本选择预测器和量化器,并进一步降低熵编码的冗余。广泛的模拟表明,与其他基线方法相比,甚至更好的学习性能,通信成本可以减少高达99%。
translated by 谷歌翻译